CREDO：面向时序推理智能体的证据条件化信用重分配
🧭 时序知识图谱问答 · 强化学习信用分配
Nanjing University of Aeronautics and Astronautics · Tsinghua University · 360 Security Capability Center, Qihoo 360
CREDO 用中间证据恢复局部监督，改进 GRPO 在时序知识图谱问答中的信用分配，提升 MultiTQ/TimelineKGQA 准确率
📌 工作参考价值（4 点）
- 在 LLM Agent 强化学习（GRPO）中，不要只依赖最终转化/成交信号。对同一 query 的多个 rollout 互相比较，利用中间状态（如检索命中、候选覆盖、证据留存比例）构造阶段级奖励，能区分“证据找对了但后续没接住”的失败样本。
- 全失败批次也可以训练：采用中间证据质量或答案重叠作为“机会”代理，把一部分 outcome-policy 权重分配到推理/回答阶段，避免全 0 奖励导致无梯度；这在多跳搜索推荐 Agent、多轮对话推荐等稀疏奖励场景尤其有效。
- 工程上可保持终端 reward 和 trajectory-level advantage 不变，仅对阶段奖励做权重再分配且保证总权重守恒，降低新增超参风险；适合用于商品知识图谱问答、带检索/过滤步骤的 Agent 训练。
- 若业务中有“检索到关键属性但最终没转化”的日志，可用于离线构造证据条件化奖励，指导 Agent 改写查询或重新排序。
Mem++：面向组织 LLM Agent 的非破坏性长期记忆
🧭 LLM Agent 长期组织记忆 · 读时检索 ★ 深度解读
The University of Texas at Austin · AIDAChip Inc.
Mem++ 用整文档存储与读时时间过滤+多路检索融合，替代写时蒸馏，在组织记忆基准上大幅领先
📌 工作参考价值（4 点）
- 在电商/广告规则、商品属性、政策文档等需要追溯“某时间点有效版本”的场景，不要写时蒸馏成事实或图谱，保留原始文档并按日期/作者索引，读时按 as-of 时间过滤检索。这样能回答“当时规则是什么”“谁改的”“从哪个版本改成哪个版本”等问题，避免旧版本被覆盖后无法回答。
- 多路检索融合策略可直接复用：lexical（精确 ID/术语）+ semantic（嵌入相似）+ tag（作者/店铺/品类）加权 RRF 融合，并保留 top k-3 融合结果 + 3 个最新日期匹配记录（recency reserve）。在商品搜索、客服知识库、推荐理由生成中能兼顾精确匹配与语义泛化，同时保证时效性。
- 写时零 LLM 调用，只做 embedding 和索引，读时才做选择。对海量商品/文档更新场景，可大幅降低写入延迟和费用；消融显示实体图谱、事实抽取、consolidation 在多个基准上增益有限甚至为负，可优先采用更简单的纯检索方案。
- 多作者冲突版本不删除、由答案模型读时判断，适合多客服、多团队知识库，避免一个模型在写入时错误地覆盖或合并关键信息，保持溯源能力。
在推理时强化视频LLM的时序表示
🧭 视频LLM时序推理的推理时激活注入
Korea Advanced Institute of Science and Technology (KAIST)
发现时序信息在中间层达到峰值后逐渐消失，提出无需训练的 Temporal Activation Injection (TAI) 在推理时注入激活以强化时序推理
📌 工作参考价值（3 点）
- 在电商/内容平台使用 VideoLLM 做商品视频、直播切片、短视频广告素材理解时，可直接在推理阶段集成 TAI（无需训练），提升对时间顺序类问题的回答准确率，如“主播先展示哪款商品后再讲解优惠”、“使用步骤的先后”等；对非时序任务几乎无副作用，适合即插即用。
- TAI 的核心是层间时序分歧曲线的测量与衰减补偿，这一诊断思路可迁移到多模态 LLM 的推荐场景：对商品属性、价格、款式等特定信息做层间表示分析，定位表达该信息的关键层，为后续推理时干预、提示设计或模型裁剪提供依据。
- 在 Agent 工作流中若包含视频理解子模块，TAI 仅增加一次前向的激活注入，工程实现简单、延迟开销小；可复用其从分歧向量峰值处提取信号并沿层衰减回注的做法，作为强化特定模态/时序能力的通用推理时增强手段。
PIA：将健康对话转为记录并将记录转为理解的个人智能体
🧭 Agent 结构化长期记忆与读写决策
KAIST · NAVER Corp.
提出个人智能体记忆系统，自主决定读写，将对话转为类型化临床记录并合成轨迹级理解
📌 工作参考价值（4 点）
- 结构化事实抽取：用户特征/行为事件先落 schema 化字段（事件日期/数值/类别/来源），不要全用 embedding top-k；便于后续聚合、筛选和趋势计算。
- 读写解耦与自主决策：让 agent 根据请求类型判断是否需要写记录、读哪些结构，减少无效检索与上下文污染；可在推荐对话/导购 Agent 中分离“用户画像写入”和“上下文读取”路径。
- 时间与别名归一化：相对时间“昨天/上周”必须解析为绝对时间戳；商品/活动名、用户标签做 alias dictionary 和规则映射，避免 LLM 随意解读。
- 因果去噪：对生成的 causal links 用静态规则先过滤结构噪声，再进入下游推理；业务中可用活动规则/类目约束过滤无意义关联。
WearableQA：面向真实可穿戴数据的健康推理基准
🧭 LLM 评估 · 健康时序推理
Meta · KAIST · Korea University
构建4084题真实可穿戴健康推理基准，覆盖16种题型，评估14个LLM准确率仅19.6%–72.9%
📌 工作参考价值（4 点）
- 可迁移其「数据推理 vs 健康推理」的题型划分，用于评估推荐/电商场景中 LLM 对用户长期行为序列的推理：区分简单统计聚合（如近30天购买频次、复购率）与业务语义解释（如消费力迁移、流失风险），并设计单信号与跨信号交叉问题检验多域融合能力。
- dual-grounding 框架值得复用：结合领域先验规则与统计显著模式生成多选题，可避免纯模板生成的表面线索，用于构建商品属性问答、用户画像推理评测集。
- 保留真实数据分布（设备噪声、个体差异）的评测思路有借鉴意义：不要只用清洗后的聚合特征评测 LLM，应让模型接触原始事件序列和噪声，检验鲁棒性。
- 直接业务借鉴有限，但对保险/健康电商、用户运营 Agent 等涉及可穿戴信号场景，提供了一套可落地的真实数据评测模板。
TempCloze：视频 LLM 能识别缺失的中间片段吗？
🧭 视频LLM时间推理评测
The University of Hong Kong · National University of Singapore · Peking University
提出 TempCloze 视频填空基准，评估 Video-LLM 视觉时间推理并揭示时间对齐是主要瓶颈
📌 工作参考价值（4 点）
- 评测设计可借鉴：在评估多模态推荐/Agent 的时间推理时，减少文本选项中介，采用填空式视觉任务（给定前后片段选缺失中间片段），迫使模型依赖视觉时序而非语言措辞；电商直播切片理解、视频商品描述生成等场景可迁移此范式。
- 困难负样本构造：按语义、时序对齐、过程进展三个维度生成同源干扰项，并共享场景与对象以削弱外观线索，可直接用于商品视频对比学习或用户行为序列的负采样，提升模型对精细时间差异的判别力。
- 模型选型提示：Alignment 是主要瓶颈，说明在短视频/直播理解等时间敏感任务中不能只看语义匹配，应专项评估时间对齐能力；选择 Video-LLM 基座或微调时优先考察该维度。
- 工程权衡依据：论文分析 candidate order、context direction、visible span、frame density 和 test-time scaling 对性能的影响，可用于在推理成本受限时决定是否增加帧密度、上下文长度或采样步数，平衡时间推理效果与计算开销。
GeoBenchLLM：面向地理相关任务的大模型综合评测基准
🧭 地理空间推理 · 评测基准
University of Toulouse
构建覆盖12类地理时空任务的多维度LLM评测基准，揭示推理与模型规模对地理理解的关键影响
📌 工作参考价值（4 点）
- 地理位置相关搜索/推荐系统可借鉴该基准中的空间关系推理、路径规划等任务，评测模型对用户时空意图理解的能力
- 评测框架中多任务、多数据集的构造方式可用于构建电商场景下的位置感知 Agent 或推荐模型评测集，避免单一任务过拟合
- 发现推理能力对地理任务性能的提升显著，提示在搭建位置敏感型 LLM 应用时，应优先选用具备强推理能力的模型（如思维链增强）而非单纯增大参数规模
- 数据集覆盖事实问答、路径规划等实用任务，可直接用于微调模型以提升对地址、POI、区域范围等实体的语义与空间关系建模，改善本地生活服务推荐质量
低频陷阱：视频语言模型在简单事件计数上失败
🧭 视频语言模型时序推理评估
University of Maryland, College Park · Scale AI
视频语言模型在事件计数上呈现阶段性失效，瞬态事件几乎无法可靠计数，高频高计数下准确率仅0.2%。
📌 工作参考价值（4 点）
- 在电商视频推荐、直播回放分析中，若需计数关键事件（如商品展示次数、动作步骤），须意识到 VLMs 对瞬时事件极不可靠，应避免依赖此类计数。
- 可借鉴「参数化合成视频 + 事件跟踪」的评估范式，在内部自建可控诊断基准，快速定位模型在时间维度上的能力边界。
- 对于视频广告曝光频次校验等任务，单纯增加帧率并不能保证模型忠实地恢复事件序列，需结合事件级真值审计，防止指标虚高。
- 若在推荐 Agent 中使用 VLMs 理解用户行为视频，应优先选择对持久状态变化敏感的模型架构，并避免在高频动作场景下直接使用计数类信号。
RUMBA：面向长期对话记忆的细粒度俄语评估基准
🧭 长期记忆与对话系统诊断评估
DAIMLD
提出多维度诊断性长期记忆基准 RUMBA，涵盖俄语及英文，细粒度分解问题类型以分析记忆机制薄弱点
📌 工作参考价值（4 点）
- 记忆模块评估框架可复用：在构建个性化推荐或客服 Agent 的记忆模块时，直接借鉴 RUMBA 的细粒度提问分类（语义类型、会话范围、时序推理、时间表达明确性），设计针对性测试集，暴露模型在跨 Session 信息整合、偏好更新与遗忘方面的短板。
- 时序推理诊断切片：电商场景中用户偏好随时间变化（如兴趣漂移、短期促销影响），利用基准中的 temporal reasoning 切片，检验模型是否能正确区分陈旧信息与最新意图，优化记忆更新与淘汰策略。
- 多语言对齐下的英语子集可直接利用：论文提供对齐的英语子集，可以立即用于评估现有英语对话推荐系统的长期记忆能力，无需额外标注，快速定位检索与推理瓶颈。
- 记忆机制选型参考：论文对比不同记忆实现（如 KV cache、RAG、上下文打包等）在不同问题切片下的表现，结论可指导在资源与延迟约束下选择更适合电商场景的记忆架构。
面向连续第一视角视频的主动式助手基准与记忆增强智能体
🧭 主动式智能体 · 长时记忆检索 ★ 深度解读
大连理工大学 · Alaya Lab · 东京大学
构建首个大规模主动式辅助基准 EgoServe，提出免训练记忆增强智能体 EgoMemo，实现基于多尺度记忆的自主干预决策
📌 工作参考价值（4 点）
- 多尺度记忆层次可直接迁移到用户行为建模：将用户 long-term behavior 序列按粒度组织为「短期行为（clip）→ 活动总结（activity）→ 长周期例行（session）」的层次化摘要，在推荐或 push 触发时按需检索不同粒度的上下文，缓解长记忆灾与窗口限制。
- 知识图谱 + 多模态嵌入的并行检索设计值得借鉴：EgoMemo 同时维护语义知识图谱（实体关系）和视觉嵌入库（难以文本化的视觉细节），多路并行检索后做 caption 重建，这一范式可改造用于商品知识图谱 + 用户行为序列检索，提升推荐解释的上下文还原度。
- 将主动干预决策建模为检索增强推理输出：主动推送时机不再依赖硬规则事件检测，而是让 Agent 基于当前上下文 + 检索到的长程记忆自主生成干预决策与内容，可直接应用于电商消息推送、智能客服主动发起对话等场景。
- Caption 重建步骤桥接检索片段与完整上下文：检索到的片段往往是零散的索引或 caption，用 VLM 根据检索目标和原片段重构连贯描述，这能解决 RAG 类系统中“碎片化证据无法直接用于推理”的痛点，可复用到生成式推荐的结果解释或对话上下文中。
ForeSci：评估LLM智能体前瞻性AI研究判断的时序基准
🧭 Agent 前瞻性判断评估基准
Southeast University · Beijing Zhongguancun Academy · Duke Kunshan University
构建时间屏蔽的基准，揭示LLM代理在做前瞻研究决策时证据组织提升可追溯性但存在证据-决策脱节问题
📌 工作参考价值（4 点）
- 时间屏蔽的离线知识库构建：在电商推荐场景中，可借鉴其按时间切割数据的方式，构建严格避免未来信息泄露的离线评估集，评估模型对用户未来兴趣的预测能力。
- 显式证据组织提升可解释性：论文表明让Agent显式组织证据（如引用历史论文片段）能增强事实支撑，可迁移到电商Agent的决策链设计，例如要求推荐Agent在输出商品列表前必须引用用户历史行为证据，提升可追溯性。
- 证据-决策对齐校验：发现的脱节问题（证据相关但预测错误）提示在实际Agent部署中应引入一致性校验模块，比如在营销决策Agent生成文案时，自动比对引用的数据点是否真正支持结论，防止“合理却错误”的输出。
- 任务设计避免随机猜测：通过预截止分类线索和证据信号衍生任务，而非直接预测特定事件，该设计思路可复用于构建多决策类型的推荐Agent评测（如选品、定价、引流策略），使评测更具可控性。
异步工具调用基准：多任务场景下的异步函数调用能力评估
🧭 Agent异步工具调用评测与多任务协调 ★ 深度解读
University of Science and Technology of China · University of Toronto
提出首个交互式多任务环境下含延迟的异步工具调用基准，揭示延迟反馈显著降低LLM代理性能。
📌 工作参考价值（4 点）
- 电商客服或订单处理等多API场景下，可参考异步任务交错策略提升吞吐，利用Same‑task Streak指标评估Agent的调度效率。
- 延迟反馈下模型易因过早继续任务而违反依赖，工程实现中需引入显式依赖图、任务状态表防止非法调用。
- 多任务下小模型常遗忘未完成子任务，可设计外部任务队列或滑动记忆窗口避免任务丢失。
- 工具混淆错误频发，建议按任务类型隔离工具命名空间，并用工具调用前检验上下文的提示减少误用。
RAG 增强的大语言模型用于 Web 搜索中的动态内容过期预测
🧭 Reasoning ★ 深度解读
Baidu Inc.
利用 LLM 对查询意图和文档时间上下文进行语义推理，动态判定内容有效期，取代静态时间窗口规则